Lisez n’importe quel article sur la réalité virtuelle et vous rencontrerez sans doute le mot « immersion » au moins une ou deux fois. Il s’agit d’un terme relativement vague pour désigner la sensation de présence dans le monde virtuel, mais c’est le meilleur moyen de fournir un point de référence unique pour évaluer le succès d’un développeur VR dans la création d’une expérience crédible.
La plupart des développeurs utilisent une technique similaire pour atteindre l’immersion. Ils travaillent dans les limites des casques de réalité virtuelle existants et créent des scènes à petite échelle, haute-fidélité, avec un son binaural. S’ils font un assez bon travail, vous pouvez vous retrouver à errer dans la vallée de l’étrange. Il est rare de pouvoir grimper de l’autre côté – et pourtant, c’est exactement ce qu’il faut faire. Awake de la maison de production de réalité virtuelle Start VR tente de faire.
Son premier épisode d’environ 20 minutes est une expérience cinématographique VR légèrement interactive qui raconte une histoire captivante sur le thème du rêve lucide. Mais aussi intrigante que soit la narration, c’est la technique de capture volumétrique utilisée pour la réaliser qui est la plus intéressante. AwakeC’est l’élément le plus frappant de l’album.
Le résultat final est des personnages avec des expressions faciales, des mouvements et des gestes incroyablement réalistes. Il ne s’agit pas d’une capture de mouvement de type balle de ping-pong. C’est quelque chose d’entièrement différent.
**Gros spoilers pour Awake’s l’histoire peut être présente dans l’interview suivante.**
Au revoir les balles de ping-pong, bonjour les hologrammes.
« La technique qui Awake a été spécifiquement conçu autour de la vidéo volumétrique », explique le créateur et réalisateur Martin Taylor. « Il s’agit donc d’un nouveau type de capture de performance qui prend la performance complète de l’acteur, y compris toute la garde-robe et toute l’expression, et la capture sous forme d’hologramme filmique. »
La capture volumétrique n’était pas quelque chose que Start VR pouvait réaliser seul. Elle a eu besoin de l’aide de Microsoft.
Cette technique est très différente des techniques de capture de mouvement utilisées pour créer la plupart des personnages de jeux, tant pour les expériences de réalité virtuelle que pour les jeux en 2D plus traditionnels. Alors que ces techniques utilisent des échantillons de mouvements pour créer les modèles 3D qui sont habillés pour donner vie aux personnages virtuels, la capture volumétrique enregistre la personne entière. L’intérieur et l’extérieur, pour ainsi dire.
« Il s’agit d’utiliser une plateforme spéciale comprenant 106 caméras avec des capteurs de profondeur, toutes dirigées vers un volume cylindrique au centre, et jusqu’à deux acteurs peuvent se tenir dans ce volume et livrer leurs performances », a expliqué Taylor à Digital Trends. « Toutes ces caméras et tous ces capteurs capturent cela, et de nombreux traitements et logiciels les assemblent en une copie numérique totalement crédible et solide de la performance. »
Cela donne aux développeurs non seulement une représentation 3D précise de l’endroit où se trouvent les acteurs et de la façon dont ils sont posés à un moment donné, mais aussi une impression vidéo quasi photo-réaliste.
« La version brute des captures est une énorme série de modèles OBJ qui sont tous très différents les uns des autres, puis une texture vidéo qui est enveloppée par-dessus », a déclaré Taylor.
Pionnier dans son utilisation, la capture volumétrique n’était pas quelque chose que Start VR pouvait réaliser seul. Elle a eu besoin de l’aide de Microsoft.
Le bon partenaire de danse
Dans l’une des séquences les plus réjouissantes du film Awake : Episode 1notre protagoniste, Harry, partage une danse avec sa partenaire, l’image étant projetée sur le mur du jeu comme si elle provenait d’un projecteur invisible. Tout comme ces personnages se sont trouvés dans l’univers du jeu, Start VR avait besoin d’un partenaire spécifique pour aider à créer les performances volumétriques qui constituent la pièce maîtresse de l’épisode 1. Awake l’expérience.
« Nous avons fait quelques tests très rudimentaires avec cette technologie avec un Microsoft Kinect et un appareil photo Canon 7D réunis et les résultats étaient comiquement grossiers », a expliqué Taylor. « Mais il y avait quelque chose dans l’expérience d’être dans la RV et de savoir que vous regardez une personne réelle… […] Cela vous a rapproché un peu plus de la vallée de la perplexité pour vous donner une expérience très connectée. C’était un moment très excitant et très tôt dans notre activité. »
Au départ, Start VR a envisagé de développer sa propre plate-forme de capture volumétrique, mais la complexité de la gestion d’une telle installation, ainsi que le coût initial lié à l’acquisition et à la configuration d’un si grand nombre de caméras et de capteurs de profondeur, étaient trop lourds à envisager.
« J’ai pensé qu’il n’y avait aucune chance que nous soyons capables de réaliser ce projet sans ce niveau d’effort. »
L’équipe a passé deux ans à chercher des fournisseurs locaux et des studios avec leurs propres configurations de capture volumétrique. Aucun d’entre eux ne pouvait faire ce que Start VR voulait, c’est-à-dire non seulement enregistrer des performances, mais aussi être capable de les rallumer après l’enregistrement. L’un des aspects les plus uniques de Awake est que le joueur, bien que limité dans ses possibilités d’interaction, peut libérer de petits grains de lumière de ses mains virtuelles, qui peuvent éclairer les zones d’ombre de l’expérience.
La seule société qui rendrait cela possible, et qui fournirait le type de système de capture de mouvement dont Start VR avait besoin, était Microsoft.
« Ce n’est que lorsque nous sommes arrivés dans leur studio que nous avons réalisé ce qui était nécessaire pour que cela fonctionne », poursuit Taylor. « La quantité d’ordinateurs, la puissance de traitement brute, le matériel et l’infrastructure nous ont fait réfléchir. Immédiatement, j’ai pensé qu’il n’y avait aucune chance que nous puissions réaliser ce projet sans ce niveau de puissance. »
Des étoiles aux écrans
Une fois les performances des acteurs capturées, les faire entrer dans l’environnement du jeu n’a pas été une mince affaire. Start VR a ouvert la voie en matière de logiciel et de matériel.
« L’autre grand défi était [building] l’expérience dans le moteur Unreal « , explique Taylor. « Le plugin n’existait pas pour accepter l’éclairage dynamique. Nous devions faire des fonctions de base comme créer un point d’entrée et un point de sortie. Si deux personnages étaient filmés dans le même volume, nous devions les séparer et les placer sur différents côtés de la pièce. »
« Nous poussons définitivement le moteur à faire des choses qu’il ne fait pas nativement. Nous y travaillons quotidiennement. »
Une fois que cela a été résolu et que l’expérience commençait à prendre forme, le prochain gros problème était l’optimisation. Start VR a travaillé en étroite collaboration avec Nvidia pour que l’expérience fonctionne sans problème sur une carte graphique GTX 1080 Ti, puis a commencé à descendre pour voir quel genre de coupes pouvaient être faites pour permettre à l’expérience de fonctionner sur du matériel plus faible.
Awake propose actuellement deux modes de jeu. L’option haute fidélité est de loin l’expérience la plus agréable, bien que Start VR suggère qu’une GTX 1080 soit la spécification minimale requise. Nous avons réussi à le faire fonctionner avec une AMD Radeon Fury X, mais les taux de trame ont parfois bégayé. L’option standard est beaucoup plus indulgente, mais les visuels en prennent un coup.
Ce n’est pas toujours le cas avec ce genre de technologie, cependant. Le PDG de Start VR, Kain Tietzel, a déclaré à Digital Trends qu’il pensait que Nvidia pourrait utiliser du matériel sur mesure (peut-être similaire aux cœurs Tensor et RT que l’on trouve dans ses cartes graphiques RTX) pour offrir de meilleures performances pour la vidéo de capture volumétrique.
« Personne n’a vraiment écrit quelque chose de spécifique pour gérer ce type de rendu », a-t-il déclaré. « Au fur et à mesure que la demande augmente et que la production commence à devenir plus courante, j’imagine que nous commencerons à voir Nvidia avoir une accélération matérielle dédiée pour rendre les performances plus grandes et plus réalistes. »
La taille de l’installation était également une préoccupation majeure pour Start VR.
« La capture brute est de 10 Go par seconde de capture volumétrique brute. Il y a donc beaucoup de travail à faire pour comprimer 15 minutes dans un fichier de 10 Go. [download] », explique Taylor. « Nous utilisons les derniers et les meilleurs plugins d’Unreal Engine. Nous poussons définitivement le moteur à faire des choses qu’il ne peut pas faire nativement. Nous y travaillons quotidiennement. »
Tu n’es pas un participant dans ce monde. Vous êtes un voyeur. Pour Start VR, c’était le plan depuis le début.
Start VR pourrait opter pour des modèles encore plus fidèles que ceux qu’il utilise actuellement. Les premières implémentations de la capture volumétrique, comme le « Hold the World« , expérience éducative animée par David Attenborough, ressemble à mieux que Awake d’une certaine manière. Cela s’explique par le fait qu’ils n’offrent qu’une expérience de réalité virtuelle à trois degrés de mouvement. Ils concentrent également toute l’attention sur le visage et le haut du corps.
« Vous pourriez pousser le nombre de polygones que nous permettons [in Awake] jusqu’au visage et cela devient une très haute résolution », explique Taylor. « Il y a des compromis à faire. Nous avons opté pour des captures du corps entier parce que nous voulons que les gens puissent voir chaque partie du personnage, marcher autour de lui. J’ai vu des gens se rouler par terre pour voir si les personnages sont persistants. »
Jouer avec les hologrammes
Après tous les efforts et toutes les attentions nécessaires à la création de Awake’s l’expérience volumétrique, le résultat final est très différent de ce à quoi la plupart des joueurs sont habitués. La « texture » des personnages varie d’extrêmement détaillée sur leurs visages, à grossière et floue dans les zones plus difficiles à atteindre. Le mélange de mouvements extrêmement réalistes et de modèles un peu grossiers nous a rappelé la version 2011 de Rockstar, LA Noire avec son style visuel unique. Ou comme si quelqu’un avait enveloppé une vidéo UHD sur la coque d’un personnage Xbox original.
C’est loin d’être parfait, la technologie ayant notamment du mal avec les espaces entre les doigts et les cheveux, et le contour des personnages étant légèrement bouché. Mais elle est captivante d’une manière qu’il est rare de trouver dans la réalité virtuelle ou tout autre type d’expérience de réalité simulée, et elle offre un énorme potentiel pour un type différent d’expérience interactive.
Alors que les captures d’écran de Awake peuvent avoir une atmosphère de vallée étrange, mais quand vous êtes en fait dans la vallée, vous ne pouvez pas vous en empêcher. Awake Il y a quelque chose dans la capture volumétrique qui empêche complètement cette dépression. Les acteurs n’ont pas l’air parfaits, mais ils ont l’air réels, et c’est quelque chose qu’on ne peut pas dire, même pour les meilleurs modèles CGI capturés en mouvement.
« Même la compréhension de la façon dont nous éclairons et dirigeons les performances va changer aussi. »
Cette immersion dans le monde virtuel est aussi en quelque sorte renforcée en vous obligeant à prendre du recul par rapport à lui. Vous n’êtes pas un participant dans ce monde. Vous êtes un voyeur. Pour Start VR, c’était le plan depuis le début.
« [Other filmmakers] se sentent toujours obligés de faire en sorte que les interprètes de la scène vous regardent, vous, la caméra, et je ne sais pas si cela fonctionne nécessairement tout le temps « , a déclaré Tietzel à Digital Trends. « Si vous êtes constamment traité comme si vous deviez être regardé, je pense que cela change la nature de la performance et je pense qu’il est rare que vous voyiez réellement des performances crédibles agissant devant une caméra et que vous êtes censé réagir à ces performances. »
Cela ne veut pas dire que vous ne vous sentez jamais impliqué dans la scène dans laquelle vous vous trouvez. Awake. Il y a des moments, particulièrement travaillés, où vous vous retrouvez dans la ligne de mire d’un personnage, vous donnant des soubresauts d’étonnement quant à savoir s’il peut vous voir ou non. Cela ne vous sort pas de l’expérience, mais vous rappelle votre rôle de voyeur dans la scène. En fait, cela renforce le caractère personnel de l’histoire, malgré les allusions à une narration plus étendue au-delà de ce premier épisode.
Rêve (lucide) du futur
Start VR a prévu huit épisodes pour le Awake Taylor a déjà passé des années à élaborer une histoire à la fois personnelle et vaste. Au fur et à mesure du déploiement de ces épisodes, nous pouvons nous attendre à de nombreuses améliorations, nous dit-on.
« La technologie, la précision, la fréquence d’images va changer de façon spectaculaire », a déclaré Tietzel à Digital Trends. « Même la compréhension de la façon dont nous éclairons et dirigeons les performances – quelle est la meilleure façon d’obtenir des performances des acteurs dans cet espace va également changer. C’est une expérience d’apprentissage. »
« Il y a donc des moments où le personnage vous tend la main pour vous donner quelque chose. Vous sentez-vous obligé d’essayer de leur prendre ? »
En plus d’étendre sa propre expertise en matière de direction d’acteurs et de développement de jeux VR, Start VR travaille également avec Microsoft pour continuer à améliorer la technique de capture volumétrique afin d’apporter de nouvelles rides à la toile virtuelle.
« Faire en sorte que le personnage vous remarque est une façon de raconter une histoire et déjà je pense qu’il y a des variations à venir où nous pouvons ajouter la ligne de regard », a souligné Taylor. Nous travaillons avec Microsoft pour contrôler le mouvement de la tête du personnage afin qu’il puisse se tourner et se verrouiller sur vous jusqu’à environ 30 degrés de part et d’autre de la position enregistrée ». […] Il faut aussi obliger les gens à faire des choses réactives. Il y a donc des moments où le personnage vous tend la main pour vous donner quelque chose. Vous sentez-vous obligé d’essayer de le lui prendre ? Ce sont ces différentes façons de se connecter avec un personnage plutôt que de simplement le regarder que nous essayons. »
Start VR prévoit également d’expérimenter des environnements multiples (Awake : Episode 1 se déroule presque exclusivement dans une. Peut-être un et demi), mais c’est au-delà de la réalité virtuelle que Taylor et Tietzel pensent que leurs expériences avec la capture volumétrique seront le plus facilement ressenties.
« Nous explorons déjà ce que pourrait signifier l’introduction de ce type de capture dans la réalité augmentée, et les performances réelles dans le monde réel sont la prochaine étape », a déclaré Tietzel. « Les premiers tests dans ce domaine ont donné des résultats fascinants ».
Ces expériences et le premier épisode de Start VR de Awake mettent en évidence le potentiel passionnant de la capture volumétrique. Ils évitent les problèmes de performances liés à des technologies telles que le ray tracing pour un éclairage réaliste dans le jeu et fournissent un résultat crédible de près, même s’il présente encore quelques défauts.
Awake : Episode 1 est un premier pas passionnant dans un voyage narratif, mais c’est un saut encore plus grand pour l’amélioration technologique qui a contribué à sa naissance dans le monde. Nous sommes impatients de voir ce que Awake L’histoire de Awake et les technologies de capture dont il se fait le champion pourraient évoluer, et j’imagine que nous les verrons beaucoup plus à l’avenir.
Awake : Episode 1 est disponible sur Steam et Viveport au prix de 8 $.
Recommandations de la rédaction